A ByteDance lançou recentemente um novo recurso para o aplicativo Doubao - compreensão de imagens. O aplicativo e a versão para PC do Doubao adicionaram botões de foto e câmera, permitindo que os usuários carreguem imagens para que o sistema identifique o conteúdo. O recurso de compreensão de imagens do Doubao não se limita ao reconhecimento de texto; ele também pode analisar o conteúdo da imagem, e até mesmo entender e explicar piadas.

No cenário tecnológico atual, o CLIP (Contrastive Language-Image Pre-training) é um importante modelo multimodal fundamental. Ele combina sinais visuais e de texto em um espaço de recursos compartilhado usando uma perda de aprendizagem contrastiva em pares de imagem-texto em larga escala. Como um mecanismo de recuperação, o CLIP suporta várias tarefas, incluindo classificação zero-shot, detecção, segmentação e recuperação de imagem-texto. Além disso, como um extrator de recursos, ele funciona em quase

Apesar dos rápidos avanços no campo da geração e compreensão de imagens impulsionadas por IA, desafios significativos persistem, impedindo o desenvolvimento de um método unificado e sem falhas. Atualmente, modelos focados em compreensão de imagens tendem a apresentar desempenho inferior na geração de imagens de alta qualidade, e vice-versa. Essa arquitetura de tarefas separadas não apenas aumenta a complexidade, mas também limita a eficiência, tornando trabalhoso o processamento de tarefas que exigem tanto compreensão quanto geração. Além disso, muitos modelos existentes dependem excessivamente de modificações de arquitetura ou componentes pré-treinados para executar qualquer função de forma eficaz, o que leva a compensações de desempenho.

A xAI, empresa de Elon Musk, adicionou recentemente a capacidade de compreensão de imagens ao seu modelo de IA, Grok. Os usuários pagos do X agora podem enviar imagens ao assistente de IA e fazer perguntas relacionadas. Essa atualização foi confirmada oficialmente por funcionários da xAI e porta-vozes do Grok no X. Musk exibiu as novas capacidades do Grok na plataforma, afirmando que ele não apenas entende o conteúdo das imagens, mas também consegue interpretar o humor nelas contido. No entanto, ele também admitiu que o recurso ainda está em estágio inicial e que a equipe continuará a melhorá-lo. Vale ressaltar que, desde agosto deste ano, o acesso ao